Long-term User Engagement Optimization through Model-agnostic Downstream Rewards Learning
通过模型无关的下游奖励学习优化长期用户参与
🧭 长期留存优化 · 下游代理奖励 ★ 深度解读
提出模型无关的下游奖励框架，用会话级代理信号近似长期留存，在 Pinterest 多表面 A/B 测试中稳定提升活跃度与深度参与。
📌 工作参考价值（4 点）
- 离线筛选代理奖励的思路：通过用户患病率归一化（与基线比较）去除曝光偏差，再用随机森林检验会话行为与未来留存的关联，可迁移到电商/广告场景筛选长期价值 proxy（如深层浏览、收藏、加购后的继续行为）。
- 三类可复用的奖励信号：①深度会话奖励（对后续 save/下载等行为做折扣求和）；②负面奖励（惩罚短停留+无后续高意图动作的浅层浏览）；③新用例采纳奖励（推荐超出历史兴趣簇的内容并带来正向行为），可与现有排序模型多目标融合。
- 奖励标签在线生成基础设施：用序列化存储每日行为事件并在数据加载时动态计算标签，替代预计算表，大幅缩短新奖励迭代周期（从 3 周→2 天），适合需要快速实验的业务。
- 多目标权重解耦调优：奖励 head 权重在模型外通过 HyperOPT 单独搜索，不强制端到端联合训练，可保持即时指标不劣化，同时方便添加新 reward head。